תוכן העניינים
\(\:\)עקרונות מנחים לכתיבת פקודותMacros LatexCommand ruleoffset "0.5ex"width "100col%"height "1pt"
- כל פקודה תתחיל ב-MKגדולות עש מיכאל קלי (Michael Kali), וזאת משתי סיבות:
- כדי שבטבלת הקיצורים שבתוך \SpecialChar LyX תופענה כל הפקודות זו לצד זו.
- הבחירה דווקא באותיות גדולות נועדה לוודא שהפקודות אינן מתנגשות עם פקודות \SpecialChar LaTeX מקוריות.
- על הפקודות להיות קצרות ככל האפשר, וזאת כדי לאפשר את כתיבתן במהירות מבלי ליצור להן קיצור מקלדת. הסיבה לכך שלא ניצור קיצור מקלדת לכל פקודה היא שפעמים רבות ניצור פקודות שתיועדנה למקרים מסוימים מאוד, ואז יעבור זמן רב עד שנשתמש בקיצור המקלדת בפעם הבאה ולכן לא נזכור אותו - הרבה יותר פשוט לזכור את הפקודה שיצרנו מכיוון שיש לה תוכן אמיתי שקשור לפלט הרצוי מן הפקודה. סיבה נוספת היא שיצירת קיצור מקלדת לכל פקודה ולו החריגה ביותר תקשה עלינו ליצור קיצורי מקלדת לפקודות חשובות יותר.
לפיכך פקודות שימושיות מאוד שבוודאי ניצור להן קיצור מקלדת ונשתמש בו פעמים רבות אינן צריכות להיות קצרות. - כדי להקל על כתיבת פקודות שלא יצרתי להן קיצור מקלדת כתבתי קיצור מקלדת שיוצר את הקידומת של כל פקודות ה-macrosשלי ואז כל מה שנותר הוא להקיש שלוש-ארבע אותיות כדי לבחור את הפקודה הרצויה, קיצור המקלדת המדובר הוא "Ctrl+k".
- לכל גופן יש קידומת בת שתי אותיות.
\(\:\)קבוצות ופונקציות לפי קורסיםLatexCommand ruleoffset "0.5ex"width "100col%"height "1pt"\(\:\)
\(\:\)המספרים המרוכבים ופונקציות מרוכבות\(\:\)
\(\newcommand{\MKcis}{\text{cis}}\)\(\cos+i\cdot\sin\). המספרים המרוכבים.
\(\newcommand{\MKre}{\text{Re}}\)החלק הממשי של מספר מרוכב. המספרים המרוכבים.
\(\newcommand{\MKim}{\text{Im}}\)החלק המדומה של מספר מרוכב. המספרים המרוכבים.מופיע גם כתמונה של פונקציה.
\(\newcommand{\MKind}{\text{Ind}}\)אינדקס ליפוף. מרוכבות.
\(\newcommand{\MKres}{\text{Res}}\)שארית (residue). מרוכבות.
\(\:\)אינפי', יריעות, פונקציונלית וטופולוגיה\(\:\)
\(\newcommand{\MKarsinh}{\text{arsinh}}\)סינוס היפרבולי הפוך, אינפי'.
\(\newcommand{\MKarcosh}{\text{arcosh}}\)קוסינוס היפרבולי הפוך, אינפי'.
\(\newcommand{\MKartanh}{\text{artanh}}\)טנגנס היפרבולי הפוך, אינפי'.
\(\newcommand{\MKar}{\text{ar}}\)יחס אורך-רוחב (aspect ratio). אינפי'.
\(\newcommand{\MKbox}{\text{box}}\)טופולוגיית הקופסה (box). טופולוגיה.
\(\newcommand{\MKclos}{\text{Cl}}\)סגור (closure). אינפי'.
\(\newcommand{\MKdiam}{\text{diam}}\)קוטר (diameter). אינפי'.
\(\newcommand{\MKdiv}{\text{div}}\)דיברגנץ (divergence). יריעות.
\(\newcommand{\MKext}{\text{Ext}}\)חוץ (exterior). אינפי'.
\(\newcommand{\MKint}{\text{Int}}\)פנים (interior). אינפי'.
\(\newcommand{\MKop}{\text{op}}\)נורמה אופרטורית. אינפי'.
\(\newcommand{\MKprod}{\text{prod}}\)טופולוגיית הקופסה (product). טופולוגיה.
\(\newcommand{\MKvol}{\text{Vol}}\)נפח של קבוצה (volume). יריעות.
\(\newcommand{\MKsupp}{\text{Supp}}\)התומך של פונקציה (support). פונקציונלית.
\(\:\)אלגברה לינארית ומבנים אלגבריים\(\:\)
\(\newcommand{\MKadj}{\text{adj}}\)המטריצה המצורפת (adjoint). לינארית.
\(\newcommand{\MKaut}{\text{Aut}}\)חבורת האוטומורפיזמים. מבנים.
\(\newcommand{\MKchar}{\text{char}}\)המציין של שדה. מבנים.
\(\newcommand{\MKcor}{\text{Core}}\)הליבה של חבורה (core). מבנים.
\(\newcommand{\MKend}{\text{End}}\)קבוצת האנדומורפיזמים. לינאריתומבנים.
\(\newcommand{\MKfix}{\text{Fix}}\)קבוצת נקודות השבת של פונקציה או איבר בחבורה. מבנים.
\(\newcommand{\MKgal}{\text{Gal}}\)חבורת גלואה של הרחבת שדות. מבנים.
\(\newcommand{\MKgl}{\text{GL}}\)חבורת המטריצות ההפיכות. מבנים.
\(\newcommand{\MKhom}{\text{Hom}}\)קבוצת ההומומורפיזמים. לינאריתומבנים.
\(\newcommand{\MKinn}{\text{Inn}}\)חבורת האוטומורפיזמים הפנימיים (inner). מבנים.
\(\newcommand{\MKnull}{\text{null}}\)דרגת האפסיות של העתקה. לינארית.
\(\newcommand{\MKorth}{\text{O}}\)חבורת המטריצות האורתוגונליות.
\(\newcommand{\MKout}{\text{Out}}\)חבורת האוטומורפיזמים החיצוניים (outer). מבנים.
\(\newcommand{\MKrank}{\text{rk}}\)דרגה של מטריצה/העתקה. לינארית.
\(\newcommand{\MKsep}{\text{sep}}\)משמש לסימון הסגור הספרבילי של שדה. מבנים.
\(\newcommand{\MKsl}{\text{SL}}\)חבורת המטריצות בעלות דטרמיננטה\(1\). לינארית ומבנים.
\(\newcommand{\MKso}{\text{SO}}\)חבורת המטריצות האורתוגונליות בעלות דטרמיננטה \(1\). לינארית.
\(\newcommand{\MKsu}{\text{SU}}\)חבורת המטריצות האוניטריות בעלות דטרמיננטה \(1\). לינארית.
\(\newcommand{\MKspan}{\text{span}}\)פרוש. לינארית.
\(\newcommand{\MKtrace}{\text{tr}}\)עקבה (trace). לינארית.
\(\:\)תורת הקבוצות\(\:\)
\(\newcommand{\MKcupdot}{\sqcup}\)איחוד זר
\(\newcommand{\MKbigcupdot}{\bigsqcup}\)איחוד זר גדול
הקוד שלהלן מייצר את הסימון לאיחוד זר כסימן של איחוד רגיל עם נקודה בתוכו. הקוד מבוסס על זה שמופיע בתגובה הרביעית שבשרשור הזה:
https://tex.stackexchange.com/questions/3964/mathematical-symbol-for-disjoint-set-union.
https://tex.stackexchange.com/questions/3964/mathematical-symbol-for-disjoint-set-union.
\makeatletter\def\moverlay{\mathpalette\mov@rlay}\def\mov@rlay#1#2{\leavevmode\vtop{% \baselineskip\z@skip \lineskiplimit-\maxdimen \ialign{\hfil$\m@th#1##$\hfil\cr#2\crcr}}}\newcommand{\MKcharfusion}[3][\mathord]{ #1{\ifx#1\mathop\vphantom{#2}\fi \mathpalette\mov@rlay{#2\cr#3} } \ifx#1\mathop\expandafter\displaylimits\fi}\makeatother\renewcommand{\MKcupdot}{\MKcharfusion[\mathbin]{\cup}{\raisebox{0.1ex}{$\cdot$}}}\renewcommand{\MKbigcupdot}{\MKcharfusion[\mathop]{\bigcup}{\raisebox{0.2ex}{$\boldsymbol{\cdot}$}}}
\(\newcommand{\MKdom}{\text{dom}}\)תחום ההגדרה של פונקציה (domain). קבוצות.
\(\newcommand{\MKrng}{\text{rng}}\)הטווח של פונקציה (range). קבוצות.
\(\renewcommand{\MKim}{\text{Im}}\)תמונה של פונקציה.מופיע גם כחלק מדומה של מספר מרוכב.
\(\newcommand{\MKsequ}{\text{Seq}}\)קבוצת הסדרות הסופיות של איברים מתוך קבוצה נתונה.
\(\:\)תורת ההסתברות\(\:\)
\(\newcommand{\MKalmsur}{\overset{\text{a.s.}}{=}}\)שוויון בין משתנים מקריים כמעט תמיד (almost surely).
\(\newcommand{\MKlessalmsur}{\overset{\text{a.s.}}{\leq}}\)אי-שוויון בין משתנים מקריים כמעט תמיד (almost surely).
\(\newcommand{\MKgreatalmsur}{\overset{\text{a.s.}}{\geq}}\)אי-שוויון בין משתנים מקריים כמעט תמיד (almost surely).
\(\newcommand{\MKvar}{\text{Var}}\)שונות (variance).
\(\newcommand{\MKcovar}{\text{Cov}}\)שונות (co-variance).
\(\newcommand{\MKdist}{\overset{\text{d}}{=}}\)שוויון התפלגויות (distributions) בין משתנים מקריים.
\(\newcommand{\MKber}{\text{Ber}}\)התפלגות ברנולי.
\(\newcommand{\MKbin}{\text{Bin}}\)התפלגות בינומית.
\(\newcommand{\MKexp}{\text{Exp}}\)התפלגות מעריכית.
\(\newcommand{\MKgeo}{\text{Geo}}\)התפלגות גאומטרית.
\(\newcommand{\MKhypergeo}{\text{HG}}\)התפלגות היפר-גאומטרית.
\(\newcommand{\MKlimas}{\xrightarrow{\text{a.s.}}}\)התכנסות כמעט תמיד (almost surely).
\(\newcommand{\MKlimd}{\xrightarrow{\text{d}}}\)התכנסות בהתפלגות (distribution).
\(\newcommand{\MKlimp}{\xrightarrow{\text{p}}}\)התכנסות בהסתברות (probability).
\(\newcommand{\MKpoi}{\text{Poi}}\)התפלגות פואסון.
\(\newcommand{\MKunif}{\text{Unif}}\)התפלגות אחידה.
\(\:\)שונותLatexCommand ruleoffset "0.5ex"width "100col%"height "1pt"\(\:\)
\(\newcommand{\MKnotequiv}{\not\equiv}\)
\(\newcommand{\MKtickmark}{\textcolor{green}{\checkmark}}\)
\(\newcommand{\MKxmark}{{\color{red}\boldsymbol{\times}}}\)
\(\:\)מדעי המחשב\(\:\)
\(\newcommand{\MKdin}{d_{\text{in}}}\)דרגת הכניסה של קודקוד. דיסקרטית ודאסט.
\(\newcommand{\MKdout}{d_{\text{out}}}\)דרגת היציאה של קודקוד. דיסקרטית ודאסט.
\(\newcommand{\MKfalse}{\text{False}}\)ערך שקר של פסוק. דיסקרטית ואינטרו.
\(\renewcommand{\MKnull}{\text{null}}\)ערךnull. דאסט.
\(\newcommand{\MKtrue}{\text{True}}\)ערך אמת של פסוק. דיסקרטית ואינטרו.
\(\:\)פיזיקה\(\:\)
\(\newcommand{\MKtot}{\text{tot}}\)קיצור שלtotal, מכניקה.
\(\newcommand{\MKexternal}{\text{ext}}\)מכניקה.
\(\newcommand{\MKconst}{\text{Const}}\)קיצור שלconstant, מכניקה.
\(\newcommand{\MKeff}{\text{eff}}\)קיצור שלeffective, מכניקה.
\(\:\)מספרים שלמים\(\:\)
\(\newcommand{\MKeven}{\text{Even}}\)קבוצת הזוגיים
\(\newcommand{\MKodd}{\text{Odd}}\)קבוצת האי-זוגיים
\(\newcommand{\MKprime}{\text{Prime}}\)קבוצת הראשוניים. תורת המספרים.
\(\:\)פונקציות שונות\(\:\)
\(\newcommand{\MKid}{\text{Id}}\)פונקציית הזהות.
\(\newcommand{\MKlcm}{\text{lcm}}\)כפולה משותפת מינימלית
\(\newcommand{\MKord}{\text{Ord}}\)סדר (order). תורת המספרים.
\(\newcommand{\MKsign}{\text{sgn}}\)פונקציית הסימן
\(\:\)גופניםLatexCommand ruleoffset "0.5ex"width "100col%"height "1pt"\(\:\)
\(\:\)גופןmathbb: הטבעיים, השלמים. הרציונליים. הממשיים. המרוכבים ועוד\(\:\)
\(\newcommand{\MKbba}{\mathbb{A}}\)
\(\newcommand{\MKbbb}{\mathbb{B}}\)
\(\newcommand{\MKcomplex}{\mathbb{C}}\)המספרים המרוכבים
\(\newcommand{\MKbbd}{\mathbb{D}}\)
\(\newcommand{\MKbbe}{\mathbb{E}}\)
\(\newcommand{\MKfield}{\mathbb{F}}\)שדה
\(\newcommand{\MKbbg}{\mathbb{G}}\)
\(\newcommand{\MKbbh}{\mathbb{H}}\)
\(\newcommand{\MKbbi}{\mathbb{I}}\)
\(\newcommand{\MKbbj}{\mathbb{J}}\)
\(\newcommand{\MKbbk}{\mathbb{K}}\)
\(\newcommand{\MKbbl}{\mathbb{L}}\)
\(\newcommand{\MKbbm}{\mathbb{M}}\)
\(\newcommand{\MKnatural}{\mathbb{N}}\)המספרים הטבעיים
\(\newcommand{\MKbbo}{\mathbb{O}}\)
\(\newcommand{\MKbbp}{\mathbb{P}}\)
\(\newcommand{\MKrational}{\mathbb{Q}}\)המספרים הרציונליים
\(\newcommand{\MKreal}{\mathbb{R}}\)המספרים הממשיים
\(\newcommand{\MKbbs}{\mathbb{S}}\)
\(\newcommand{\MKbbt}{\mathbb{T}}\)
\(\newcommand{\MKbbu}{\mathbb{U}}\)
\(\newcommand{\MKbbv}{\mathbb{V}}\)
\(\newcommand{\MKbbw}{\mathbb{W}}\)
\(\newcommand{\MKbbx}{\mathbb{X}}\)
\(\newcommand{\MKbby}{\mathbb{Y}}\)
\(\newcommand{\MKinteger}{\mathbb{Z}}\)המספרים השלמים
\(\newcommand{\MKindicator}{\mathds{1}}\)פונקציה מציינת - אינדיקטור
\(\:\)גופןmathcal: בסיסים, קבוצת חזקה, העתקות גלואה, המילטוניאן ועוד\(\:\)
\(\newcommand{\MKcla}{\mathcal{A}}\)
\(\newcommand{\MKclb}{\mathcal{B}}\)
\(\newcommand{\MKclc}{\mathcal{C}}\)
\(\newcommand{\MKcld}{\mathcal{D}}\)
\(\newcommand{\MKcle}{\mathcal{E}}\)
\(\newcommand{\MKclf}{\mathcal{F}}\)
\(\newcommand{\MKclg}{\mathcal{G}}\)
\(\newcommand{\MKclh}{\mathcal{H}}\)
\(\newcommand{\MKcli}{\mathcal{I}}\)
\(\newcommand{\MKclj}{J}\)
\(\newcommand{\MKclk}{\mathcal{K}}\)
\(\newcommand{\MKcll}{\mathcal{L}}\)
\(\newcommand{\MKclm}{\mathcal{M}}\)
\(\newcommand{\MKcln}{\mathcal{N}}\)
\(\newcommand{\MKclo}{\mathcal{O}}\)
\(\newcommand{\MKclp}{\mathcal{P}}\)
\(\newcommand{\MKclq}{\mathcal{Q}}\)
\(\newcommand{\MKclr}{\mathcal{R}}\)
\(\newcommand{\MKcls}{\mathcal{S}}\)
\(\newcommand{\MKclt}{\mathcal{T}}\)
\(\newcommand{\MKclu}{\mathcal{U}}\)
\(\newcommand{\MKclv}{\mathcal{V}}\)
\(\newcommand{\MKclw}{\mathcal{W}}\)
\(\newcommand{\MKclx}{\mathcal{X}}\)
\(\newcommand{\MKcly}{\mathcal{Y}}\)
\(\newcommand{\MKclz}{\mathcal{Z}}\)
\(\:\)גופןmathscr: ?\(\:\)
\(\newcommand{\MKsrb}{\mathscr{B}}\)
\(\newcommand{\MKsrf}{\mathscr{F}}\)
\(\:\)גופןmathfrak: אותיות גותיות לעוצמות\(\:\)
\(\newcommand{\MKfka}{\mathfrak{a}}\)
\(\newcommand{\MKfkb}{\mathfrak{b}}\)
\(\newcommand{\MKfkc}{\mathfrak{c}}\)
\(\:\)כתיבת סדרות במהירותLatexCommand ruleoffset "0.5ex"width "100col%"height "1pt"\(\:\)
\(\newcommand{\MKseq}[3]{#1_{1}#2#1_{2}#2\ldots#2#1_{#3}}\)תודה למיכאל קלי שכתב את הפקודה.
\(\newcommand{\MKseqz}[3]{#1_{0}#2#1_{1}#2\ldots#2#1_{#3}}\)תודה למיכאל קלי שכתב את הפקודה.
\(\newcommand{\MKdseq}[5]{#1_{1}#2#3_{1}#4#1_{2}#2#3_{2}#4\ldots#1_{#5}#2#3_{#5}}\)תודה למיכאל קלי שכתב את הפקודה.
\(\newcommand{\MKdseqz}[5]{#1_{0}#2#3_{0}#4#1_{1}#2#3_{1}#4\ldots#1_{#5}#2#3_{#5}}\)תודה למיכאל קלי שכתב את הפקודה.
\fbox{\thepage}תוחלת ושונות
\leftmark\fbox{\thepage}
תוחלת ושונות
תורת ההסתברות (1) - חלק שלישי
נכתב ע"י שריה אנסבכר
1 תוחלת
יהי \(\left(\Omega,\MKclf,\MKbbp\right)\) מרחב הסתברות.
הגדרה 1.1. תוחלת
התוחלת של משתנה מקרי \(X:\Omega\rightarrow\MKreal\) מוגדרת ע"י:\[ \MKbbe\left(X\right):=\intop_{\Omega}X\ d\MKbbp \]אם אינטגרל לבג זה אינו מוגדר1ישנן שתי סיבות לכך שהסכום לא יהיה מוגדר: ייתכן שכל האיברים בסכום אי-שליליים והוא שואף ל-\(\infty\) (במקרה זה ניתן אולי לומר שהתוחלת היא \(\infty\)), אך ייתכן גם שהוא אינו מוגדר משום ששינוי סדר הסכימה ישנה את ערך הטור ולכן הוא אינו מוגדר כלל. נאמר שאין ל-\(X\) תוחלת סופית.
התוחלת של משתנה מקרי \(X:\Omega\rightarrow\MKreal\) מוגדרת ע"י:\[ \MKbbe\left(X\right):=\intop_{\Omega}X\ d\MKbbp \]אם אינטגרל לבג זה אינו מוגדר1ישנן שתי סיבות לכך שהסכום לא יהיה מוגדר: ייתכן שכל האיברים בסכום אי-שליליים והוא שואף ל-\(\infty\) (במקרה זה ניתן אולי לומר שהתוחלת היא \(\infty\)), אך ייתכן גם שהוא אינו מוגדר משום ששינוי סדר הסכימה ישנה את ערך הטור ולכן הוא אינו מוגדר כלל. נאמר שאין ל-\(X\) תוחלת סופית.
- \(\clubsuit\)
- התוחלת היא ממוצע משוקלל על התמונה של \(X\), כאשר המשקל של כל איבר נקבע לפי ההתפלגות של \(X\); כך התוחלת מספרת לנו מהו הערך שאנחנו מצפים לקבל ב"ניסוי" שלנו (לא במקרה היא נקראת באנגלית "expected value").
מסקנה 1.2. יהי \(X:\Omega\rightarrow\MKreal\) משתנה מקרי בעל תוחלת סופית.
- אם \(X\) בדיד אז:\[ \MKbbe\left(X\right)=\sum_{\omega\in\Omega}X\left(\omega\right)\cdot\MKbbp\left(\left\{ \omega\right\} \right)=\sum_{x\in\MKreal}x\cdot\MKbbp\left(X=x\right) \]
- אם \(X\) רציף בהחלט אז:\[ \MKbbe\left(X\right)=\intop_{-\infty}^{\infty}x\cdot f_{X}\left(x\right)\ dx=\intop_{0}^{\infty}\overline{F_{X}\left(x\right)}\ dx-\intop_{-\infty}^{0}F_{X}\left(x\right)\ dx \]
יהיו \(X,Y:\Omega\rightarrow\MKreal\) שני משתנים מקריים.
מסקנה 1.3. אם \(X\) בעלת תוחלת סופית ו-\(\left|X\right|\MKgreatalmsur\left|Y\right|\), אז גם \(Y\) בעלת תוחלת סופית.
משפט 1.4. תכונות התוחלת
אם \(X\) ו-\(Y\) בעלי תוחלת סופית אז גם \(X+Y\), \(c\cdot X\), ו-\(X+c\) בעלי תוחלת סופית (לכל \(c\in\MKreal\)), ובנוסף מתקיימות התכונות הבאות:
אם \(X\) ו-\(Y\) בעלי תוחלת סופית אז גם \(X+Y\), \(c\cdot X\), ו-\(X+c\) בעלי תוחלת סופית (לכל \(c\in\MKreal\)), ובנוסף מתקיימות התכונות הבאות:
- אי שליליות - אם \(X\MKgreatalmsur0\) אז \(\MKbbe\left(X\right)\geq0\), ואם מתקיים בנוסף \(\MKbbp\left(X>0\right)>0\) אז \(\MKbbe\left(X\right)>0\).
- אדיטיביות - \(\MKbbe\left(X+Y\right)=\MKbbe\left(X\right)+\MKbbe\left(Y\right)\), ובפרט \(\MKbbe\left(X+c\right)=\MKbbe\left(X\right)+c\) (לכל \(c\in\MKreal\)).
- הומוגניות - \(\MKbbe\left(c\cdot X\right)=c\cdot\MKbbe\left(X\right)\) (לכל \(c\in\MKreal\)).
- מונוטוניות - אם \(X\MKgreatalmsur Y\) אז \(\MKbbe\left(X\right)\geq\MKbbe\left(Y\right)\), ואם מתקיים בנוסף \(\MKbbp\left(X>Y\right)>0\) אז \(\MKbbe\left(X\right)>\MKbbe\left(Y\right)\).
- \(\clubsuit\)
- מכאן שלכל שלושה משתנים מקריים \(X,Y,Z:\Omega\rightarrow\MKreal\) ולכל \(c\in\MKreal\) מתקיימות התכונות הבאות:
- חיוביות בהחלט - \(\MKbbe\left(X\cdot X\right)>0\), ו-\(\MKbbe\left(X\cdot X\right)=0\) אם"ם \(X\MKalmsur0\).
- סימטריה - \(\MKbbe\left(X\cdot Y\right)=\MKbbe\left(Y\cdot X\right)\).
- בי-לינאריות -\[\begin{align*} \MKbbe\left(X\cdot\left(Y+Z\right)\right) & =\MKbbe\left(X\cdot Y\right)+\MKbbe\left(X\cdot Z\right)\\ \MKbbe\left(\left(c\cdot X\right)\cdot Y\right) & =c\cdot\MKbbe\left(X\cdot Y\right)\\ \MKbbe\left(\left(X+Z\right)\cdot Y\right) & =\MKbbe\left(X\cdot Y\right)+\MKbbe\left(Z\cdot Y\right)\\ \MKbbe\left(X\cdot\left(c\cdot Y\right)\right) & =c\cdot\MKbbe\left(X\cdot Y\right) \end{align*}\]
כלומר הפונקציה המעתיקה זוג סדור של משתנים מקריים אל התוחלת של המכפלה שלהם היא "כמעט" מכפלה פנימית, הדבר היחיד שחסר הוא שתוחלת הריבוע של משתנה מקרי תהיה \(0\) אם"ם הוא פונקציית האפס. לפיכך אם נתייחס לכל שני משתנים מקריים כשקולים אם הם שווים כמעט תמיד, נקבל שפונקציה זו היא מכפלה פנימית על קבוצת מחלקות השקילות. - \(\clubsuit\)
- מה המשמעות של משתנים מקריים מאונכים?
טענה 1.5. יהיו \(\MKseq X,n:\Omega\rightarrow\MKreal\) משתנים מקריים בדידים, תהא \(f:\MKreal^{n}\rightarrow\MKreal\) פונקציה,
ונסמן \(\tilde{X}:=f\left(\MKseq X,n\right)\). מתקיים2כלומר ל-\(X\) יש תוחלת סופית אם"ם הסכום שבאגף ימין מוגדר במובן הצר.:\[ \MKbbe\left(\tilde{X}\right)=\sum_{v\in\MKreal^{n}}f\left(v\right)\cdot\MKbbp\left(\tilde{X}=v\right) \]
ונסמן \(\tilde{X}:=f\left(\MKseq X,n\right)\). מתקיים2כלומר ל-\(X\) יש תוחלת סופית אם"ם הסכום שבאגף ימין מוגדר במובן הצר.:\[ \MKbbe\left(\tilde{X}\right)=\sum_{v\in\MKreal^{n}}f\left(v\right)\cdot\MKbbp\left(\tilde{X}=v\right) \]
טענה 1.6. אם \(X\) בעל תוחלת סופית אז לכל מאורע \(A\in\MKclf\) כך ש-\(\MKbbp\left(A\right)>0\) מתקיים:\[
\MKbbe\left(X\cdot\MKindicator_{A}\right)=\MKbbp\left(A\right)\cdot\MKbbe\left(X\mid A\right)
\]ובפרט \(\MKbbe\left(\MKindicator_{A}\right)=\MKbbp\left(A\right)\).
מסקנה 1.7. נוסחת התוחלת השלמה
תהא \(\MKcla\) חלוקה סופית/בת-מנייה של \(\Omega\) כך ש-\(A\in\MKclf\) לכל \(A\in\MKcla\), ונסמן \(\tilde{\MKcla}:=\left\{ A\in\MKcla\mid\MKbbp\left(A\right)>0\right\} \). מתקיים:\[ \MKbbe\left(X\right)=\sum_{A\in\tilde{\MKcla}}\MKbbe\left(X\cdot\MKindicator_{A}\right)=\sum_{A\in\tilde{\MKcla}}\MKbbp\left(A\right)\cdot\MKbbe\left(X\mid A\right) \]ולכן גם:\[ \MKbbe\left(X\right)=\sum_{t\in\MKreal}\MKbbp\left(Y=t\right)\cdot\MKbbe\left(X\mid Y=t\right) \]כאשר בשני המקרים כוונתנו ש-\(X\) בעל תוחלת סופית אם"ם הסכום שבאגף ימין מוגדר וסופי, ובמקרה כזה מתקיים השוויון.
תהא \(\MKcla\) חלוקה סופית/בת-מנייה של \(\Omega\) כך ש-\(A\in\MKclf\) לכל \(A\in\MKcla\), ונסמן \(\tilde{\MKcla}:=\left\{ A\in\MKcla\mid\MKbbp\left(A\right)>0\right\} \). מתקיים:\[ \MKbbe\left(X\right)=\sum_{A\in\tilde{\MKcla}}\MKbbe\left(X\cdot\MKindicator_{A}\right)=\sum_{A\in\tilde{\MKcla}}\MKbbp\left(A\right)\cdot\MKbbe\left(X\mid A\right) \]ולכן גם:\[ \MKbbe\left(X\right)=\sum_{t\in\MKreal}\MKbbp\left(Y=t\right)\cdot\MKbbe\left(X\mid Y=t\right) \]כאשר בשני המקרים כוונתנו ש-\(X\) בעל תוחלת סופית אם"ם הסכום שבאגף ימין מוגדר וסופי, ובמקרה כזה מתקיים השוויון.
טענה 1.8. נוסחת הזנב
אם \(X\) נתמך על \(\MKnatural_{0}\) אז \({\displaystyle \MKbbe\left(X\right)=\sum_{n\in\MKnatural}\MKbbp\left(X\geq n\right)}\).
אם \(X\) נתמך על \(\MKnatural_{0}\) אז \({\displaystyle \MKbbe\left(X\right)=\sum_{n\in\MKnatural}\MKbbp\left(X\geq n\right)}\).
טענה 1.9. אם \(X\) ו-\(Y\) בלתי-תלויים ובעלי תוחלת סופית, אז \(\MKbbe\left(X\cdot Y\right)=\MKbbe\left(X\right)\cdot\MKbbe\left(Y\right)\).
משפט 1.10. אי-שוויון ינסן3על שם יוהאן ינסן.
יהי \(I\subseteq\MKreal\) מקטע כך ש-\(X\) נתמך על \(I\), ותהא \(f:I\rightarrow\MKreal\) פונקציה.
יהי \(I\subseteq\MKreal\) מקטע כך ש-\(X\) נתמך על \(I\), ותהא \(f:I\rightarrow\MKreal\) פונקציה.
- אם \(f\) קמורה אז \(f\left(\MKbbe\left(X\right)\right)\leq\MKbbe\left(f\left(X\right)\right)\).
- אם \(f\) קעורה אז \(f\left(\MKbbe\left(X\right)\right)\geq\MKbbe\left(f\left(X\right)\right)\).
2 שׁוֹנוּת ושׁוֹנוּת משותפת
2.1 שׁוֹנוּת
- \(\clubsuit\)
- ראינו שהתוחלת מנסה לייצג את הערך הצפוי מה"ניסוי" ההסתברותי, אלא שכאן הבן שואל: עד כמה היא באמת מייצגת? כלומר התוחלת היא ממוצע משוקלל, אבל כמו הבדיחה הידועה על "הסטטיסטיקאי שטבע בנחל שעומקו הממוצע \(20\) ס"מ", גם כאן לא ברור עד כמה התוחלת מייצגת את כלל התוצאות האפשריות ב"ניסוי". לשם המחשה נביא שני משתנים מקריים רציפים בהחלט שצפיפויותיהם מוצגות באיור שלמטה. התוחלת של שני המשתנים המקריים היא \(0\) (כי הצפיפות סימטרית ביחס לציר ה-\(y\)), אך \(0\) מייצג את הערכים הצפויים להתקבל מהמשתנה המקרי הכחול טוב יותר משהוא מייצג את אלו הצפויים להתקבל מן האדום.
lyxscale 50איור 1: המחשה של מושג השונות
יהי \(\left(\Omega,\MKclf,\MKbbp\right)\) מרחב הסתברות.
הגדרה 2.1. שׁוֹנוּת
השונות של משתנה מקרי \(X:\Omega\rightarrow\MKreal\) היא \(\MKvar\left(X\right):=\MKbbe\left(\left(X-\MKbbe\left(X\right)\right)^{2}\right)\).
אם התוחלת הנ"ל אינה מוגדרת נאמר שאין ל-\(X\) שונות סופית.
השונות של משתנה מקרי \(X:\Omega\rightarrow\MKreal\) היא \(\MKvar\left(X\right):=\MKbbe\left(\left(X-\MKbbe\left(X\right)\right)^{2}\right)\).
אם התוחלת הנ"ל אינה מוגדרת נאמר שאין ל-\(X\) שונות סופית.
- \(\clubsuit\)
- כדי למדוד עד כמה באמת התוחלת קרובה לערכים הצפויים להתקבל מהניסוי, היה מתבקש להגדיר את השונות
ע"י \(\MKbbe\left(\left|X-\MKbbe\left(X\right)\right|\right)\) - כלומר התוחלת של המרחק בין המשתנה המקרי לתוחלת שלו4כך נקבל שונות קטנה יותר כאשר מאורעות קרובים לתוחלת הם בעלי הסתברות גבוהה, וכן להפך: נקבל שונות גדולה יותר כאשר מאורעות רחוקים מהתוחלת הם בעלי הסתברות גבוהה.. הסיבה לכך שאנו מגדירים ע"י העלאה בריבוע היא שאז יש לשונות תכונות "יפות" יותר, כפי שנראה בהמשך.
יהיו \(X,Y:\Omega\rightarrow\MKreal\) שני משתנים מקריים.
מסקנה 2.2. ל-\(X\) יש שונות סופית אם"ם יש לו ול-\(X^{2}\) תוחלת סופית, ובמקרה כזה מתקיים \(\MKvar\left(X\right)=\MKbbe\left(X^{2}\right)-\left(\MKbbe\left(X\right)\right)^{2}\).
- \(\clubsuit\)
- ייתכן של-\(X\) יש תוחלת אך התוחלת \(\MKbbe\left(\left(X-\MKbbe\left(X\right)\right)^{2}\right)\) אינה מוגדרת ולכן אין ל-\(X\) שונות.
משפט 2.3. תכונות השונות
אם \(X\) בעל שונות סופית אז גם ל-\(c\cdot X\) ול-\(X+c\) יש שונות סופית (לכל \(c\in\MKreal\)), ובנוסף מתקיימות התכונות הבאות:
אם \(X\) בעל שונות סופית אז גם ל-\(c\cdot X\) ול-\(X+c\) יש שונות סופית (לכל \(c\in\MKreal\)), ובנוסף מתקיימות התכונות הבאות:
- אי-שליליות - \(\MKvar\left(X\right)\geq0\), ובנוסף \(\MKvar\left(X\right)=0\) אם"ם \(X\) בעל התפלגות קבועה.
- כיול ריבועי - \(\MKvar\left(c\cdot X\right)=c^{2}\cdot\MKvar\left(X\right)\) (לכל \(c\in\MKreal\)).
- אדישות להזזות - \(\MKvar\left(X+c\right)=\MKvar\left(X\right)\) (לכל \(c\in\MKreal\)).
משפט 2.4. אי-שוויון מרקוב5אי-שוויון מרקוב קרוי על שם אנדריי מרקוב, אם כי קיים תיעוד שלו בעבודותיו המוקדמות של פפנוטי צ'בישב שהיה מורו של מרקוב (ויקיפדיה).\(\:\)
אם \(X\) בעל תוחלת סופית ו-\(X\MKgreatalmsur0\), אז לכל \(0<a\in\MKreal\) מתקיים \({\displaystyle \MKbbp\left(X\geq a\right)\leq\frac{\MKbbe\left(X\right)}{a}}\).
אם \(X\) בעל תוחלת סופית ו-\(X\MKgreatalmsur0\), אז לכל \(0<a\in\MKreal\) מתקיים \({\displaystyle \MKbbp\left(X\geq a\right)\leq\frac{\MKbbe\left(X\right)}{a}}\).
מסקנה 2.5. אי-שוויון צ'בישב6על שם פפנוטי צ'בישב.
אם \(X\) בעל שונות סופית, אז לכל \(0<a\in\MKreal\) מתקיים \({\displaystyle \MKbbp\left(\left|X-\MKbbe\left(X\right)\right|\geq a\right)\leq\frac{\MKvar\left(X\right)}{a^{2}}}\).
אם \(X\) בעל שונות סופית, אז לכל \(0<a\in\MKreal\) מתקיים \({\displaystyle \MKbbp\left(\left|X-\MKbbe\left(X\right)\right|\geq a\right)\leq\frac{\MKvar\left(X\right)}{a^{2}}}\).
טענה 2.6. נניח ש-\(X\) בעל שונות סופית, ותהא \(f:\MKreal\rightarrow\MKreal\) הפונקציה המוגדרת ע"י \(f\left(a\right):=\MKbbe\left(\left(X-a\right)^{2}\right)\).
\(f\) מקבלת מינימום ב-\(\MKbbe\left(X\right)\), וזוהי גם נקודת הקיצון היחידה שלה.
\(f\) מקבלת מינימום ב-\(\MKbbe\left(X\right)\), וזוהי גם נקודת הקיצון היחידה שלה.
- \(\clubsuit\)
- כלומר \(\MKbbe\left(X\right)\) הוא הערך המספרי הקרוב ביותר ל-\(X\), כאשר ה"מרחק" נמדד לפי המכפלה הפנימית שראינו לעיל: \(\left(X,Y\right)\mapsto\MKbbe\left(X\cdot Y\right)\).
2.2 שׁוֹנוּת משותפת
הגדרה 2.7. שונות משותפת
השונות המשותפת של \(X\) ו-\(Y\) מוגדרת ע"י \(\MKcovar\left(X,Y\right):=\MKbbe\left(\left(X-\MKbbe\left(X\right)\right)\left(Y-\MKbbe\left(Y\right)\right)\right)\).
אם התוחלת הנ"ל אינה מוגדרת נאמר שאין ל-\(X\) ול-\(Y\) אין שונות משותפת סופית.
השונות המשותפת של \(X\) ו-\(Y\) מוגדרת ע"י \(\MKcovar\left(X,Y\right):=\MKbbe\left(\left(X-\MKbbe\left(X\right)\right)\left(Y-\MKbbe\left(Y\right)\right)\right)\).
אם התוחלת הנ"ל אינה מוגדרת נאמר שאין ל-\(X\) ול-\(Y\) אין שונות משותפת סופית.
טענה 2.8. אם \(X\) ו-\(Y\) בעלי תוחלת סופית, אז הם גם בעלי שונות משותפת, ומתקיים \(\MKcovar\left(X,Y\right)=\MKbbe\left(X\cdot Y\right)-\MKbbe\left(X\right)\cdot\MKbbe\left(Y\right)\).
מסקנה 2.9. אם \(X\) ו-\(Y\) רציפים בהחלט ובעלי תוחלת סופית אז:\[
\MKcovar\left(X,Y\right)=\intop_{-\infty}^{\infty}\intop_{-\infty}^{\infty}x\cdot y\cdot f_{X,Y}\left(x,y\right)dxdy-\MKbbe\left(X\right)\cdot\MKbbe\left(Y\right)
\]
משפט 2.10. תכונות השונות המשותפת
יהי גם \(Z:\Omega\rightarrow\MKreal\) שמתנה מקרי, ונניח של-\(X,Y,Z\) יש שונויות משותפות בזוגות. מתקיימות התכונות הבאות (לכל \(c\in\MKreal\)):
יהי גם \(Z:\Omega\rightarrow\MKreal\) שמתנה מקרי, ונניח של-\(X,Y,Z\) יש שונויות משותפות בזוגות. מתקיימות התכונות הבאות (לכל \(c\in\MKreal\)):
- חיוביות בהחלט - \(\MKcovar\left(X,X\right)=\MKvar\left(X\right)\geq0\), ו-\(\MKcovar\left(X,X\right)=0\) אם"ם \(X\) בעל התפלגות קבועה.
- סימטריה - \(\MKcovar\left(X,Y\right)=\MKcovar\left(Y,X\right)\).
- בי-ליניאריות - \[\begin{align*} \MKcovar\left(X,Y+Z\right) & =\MKcovar\left(X,Y\right)+\MKcovar\left(X,Z\right)\\ \MKcovar\left(X,c\cdot Y\right) & =c\cdot\MKcovar\left(X,Y\right)\\ \MKcovar\left(X+Z,Y\right) & =\MKcovar\left(X,Y\right)+\MKcovar\left(Z,Y\right)\\ \MKcovar\left(c\cdot X,Y\right) & =c\cdot\MKcovar\left(X,Y\right) \end{align*}\]
- אדישות להזזות - \(\MKcovar\left(X+\lambda,Y\right)=\MKcovar\left(X,Y\right)=\MKcovar\left(X,Y+\lambda\right)\).
- \(\clubsuit\)
- כן, השונות המשותפת היא "כמעט" מכפלה פנימית, הדבר היחיד שחסר הוא שהשונות משותפת של משתנה מקרי עם עצמו תהיה \(0\) אם"ם הוא פונקציית ה-\(0\). המשתנים שמקלקלים את התכונה הזו הם כל אלה שהתפלגותם קבועה, ולכן ניתן להגדיר את המכפלה הפנימית המתאימה על מחלקות השקילות של יחס השקילות המוגדר כך: נאמר ש-\(X\) ו-\(Y\) שקולים אם קיים קבוע \(c\in\MKreal\) כך ש-\(X+c\MKalmsur Y\).
- \(\clubsuit\)
- הנורמה במרחב המכפלה הנ"ל היא \(\sqrt{\MKcovar\left(X,X\right)}=\sqrt{\MKvar\left(X\right)}\) - כלומר הנורמה היא סטיית התקן!
- \(\clubsuit\)
- כשעסקנו במרחבי מכפלה פנימית ראינו שמא"ש קושי-שוורץ נובע שלכל שני וקטורים \(v\) ו-\(w\) מתקיים \(-1\leq\frac{\left<v\mid w\right>}{\left\Vert v\right\Vert \cdot\left\Vert w\right\Vert }\leq1\), וכך יכולנו להגדיר את הזווית בין \(v\) ו-\(w\) ע"י \(\arccos\left(\frac{\left<v\mid w\right>}{\left\Vert v\right\Vert \cdot\left\Vert w\right\Vert }\right)\). על כל פנים ערך זה ייצג המרחק שבין כיווני הווקטורים ללא תלות בגודלם, במרחב המכפלה הנוכחי שלנו הוא נקרא מקדם המתאם של פירסון.
הגדרה 2.11. נאמר ש-\(X\) ו-\(Y\) בלתי-מתואמים אם יש להם שונות משותפת סופית ו-\(\MKcovar\left(X,Y\right)=0\).
מסקנה 2.12. אם \(X\) ו-\(Y\) בלתי-תלויים, ובעלי שונות משותפת, אז הם גם בלתי מתואמים.
- \(\clubsuit\)
- לפי הגדרה, האיברים ה"מאונכים" במרחב המכפלה הנ"ל אם אלו שבלתי-מתואמים, ובפרט משתנים מקריים בלתי-תלויים הם מאונכים.
מסקנה 2.13. מתקיים:\[
\MKvar\left(X+Y\right)=\MKvar\left(X\right)+2\cdot\MKcovar\left(X,Y\right)+\MKvar\left(Y\right)
\]
מסקנה 2.14. אם \(X\) ו-\(Y\) בעלי שונות ובלתי-מתואמים (ובפרט אם הם בלתי תלויים), אז \(\MKvar\left(X+Y\right)=\MKvar\left(X\right)+\MKvar\left(Y\right)\).
3 הפונקציה יוצרת המומנטים
יהי \(\left(\Omega,\MKclf,\MKbbp\right)\) מרחב הסתברות.
הגדרה 3.1. לכל \(n\in\MKnatural\), המומנט מסדר \(n\) של משתנה מקרי \(X:\Omega\rightarrow\MKreal\) מוגדר ע"י \(m_{n}\left(X\right):=\MKbbe\left(X^{n}\right)\).
אם התוחלת \(\MKbbe\left(X^{n}\right)\) אינה מוגדרת עבור \(n\in\MKnatural\) כלשהו, נאמר שאין ל-\(X\) מומנט סופי מסדר \(n\).
אם התוחלת \(\MKbbe\left(X^{n}\right)\) אינה מוגדרת עבור \(n\in\MKnatural\) כלשהו, נאמר שאין ל-\(X\) מומנט סופי מסדר \(n\).
טענה 3.2. לכל \(k,n\in\MKnatural\) כך ש-\(k<n\), אם יש למשתנה מקרי \(X:\Omega\rightarrow\MKreal\) מומנט סופי מסדר \(n\) אז יש לו גם מומנט סופי מסדר \(k\).
הוכחה. יהיו \(k,n\in\MKnatural\) כך ש-\(k<n\). לכל \(x\in\MKreal\) מתקיים \(1+\left|x\right|^{n}\geq\left|x\right|^{k}\), ולכן אם ל-\(1+\left|X\right|^{n}\) יש תוחלת סופית אז ל-\(\left|X\right|^{k}\) יש תוחלת סופית (מסקנה 1.3), כלומר הטור \(\MKbbe\left(X^{k}\right)\) מתכנס בהחלט ובפרט מתכנס.
המשמעות של קיום מומנט סופי מסדר \(n\) של \(X\) היא שהטור \(\MKbbe\left(X^{n}\right)\) מתכנס בהחלט, כלומר ל-\(\left|X\right|^{n}\) יש תוחלת סופית וממילא גם ל-\(1+\left|X\right|^{n}\) (משפט 1.4). מכאן שאם יש ל-\(X\) מומנט סופי מסדר \(n\) אז יש לו גם מומנט סופי מסדר \(k\).
המשמעות של קיום מומנט סופי מסדר \(n\) של \(X\) היא שהטור \(\MKbbe\left(X^{n}\right)\) מתכנס בהחלט, כלומר ל-\(\left|X\right|^{n}\) יש תוחלת סופית וממילא גם ל-\(1+\left|X\right|^{n}\) (משפט 1.4). מכאן שאם יש ל-\(X\) מומנט סופי מסדר \(n\) אז יש לו גם מומנט סופי מסדר \(k\).
הגדרה 3.3. הפונקציה יוצרת המומנטים של משתנה מקרי \(X:\Omega\rightarrow\MKreal\) היא הפונקציה \(M_{X}\) המוגדרת ע"י \(M_{X}\left(t\right):=\MKbbe\left(e^{t\cdot X}\right)\), כאשר תחום ההגדרה הוא הקבוצה המרבית שבה התוחלת \(\MKbbe\left(e^{t\cdot X}\right)\) סופית.
- \(\clubsuit\)
- הקשר בין מומנטים לפונקציה יוצרת המומנטים הוא כזה: פונקציה יוצרת של סדרת מספרים \(\left(a_{n}\right)_{n=1}^{\infty}\) היא הפונקציה \({\displaystyle {\displaystyle x\mapsto}\sum_{n=0}^{\infty}}\frac{a_{n}}{n!}\cdot x^{n}\), זהו טור חזקות שהנגזרת ה-\(n\)-ית שלו ב-\(0\) היא \(a_{n}\); מתברר ש-\(M_{X}\) היא הפונקציה היוצרת של סדרת המומנטים של \(X\) - קרי \(\left(m_{n}\left(X\right)\right)_{n=1}^{\infty}\).
טענה 3.4. לכל משתנה מקרי \(X:\Omega\rightarrow\MKreal\), תחום ההגדרה של \(M_{X}\) הוא מקטע הכולל את \(0\).
הוכחה. יהיו \(a,b\in\MKreal\) כך ש-\(a\leq b\) ו-\(M_{X}\) מוגדרת ב-\(a,b\), יהי \(t\in\left[a,b\right]\), ונחלק למקרים:
- אם \(t>0\) אז \(b>0\) ומתקיים \(e^{t\cdot x}\leq1+e^{b\cdot x}\) לכל \(x\in\MKreal\), ולכן מהעובדה שהתוחלת \(\MKbbe\left(e^{b\cdot X}\right)\) קיימת וסופית נובע שגם \(\MKbbe\left(e^{t\cdot X}\right)\) כזו.
- אם \(t<0\) אז \(a<0\) אז מתקיים \(e^{t\cdot x}\leq1+e^{a\cdot x}\) לכל \(x\in\MKreal\), ולכן מהעובדה שהתוחלת \(\MKbbe\left(e^{b\cdot X}\right)\) קיימת וסופית נובע שגם \(\MKbbe\left(e^{t\cdot X}\right)\) כזו.
- אם \(t=0\) אז מהגדרה \(M_{X}\left(0\right)=\MKbbe\left(e^{0\cdot X}\right)=\MKbbe\left(1\right)=1\).
אם כן הוכחנו שתחום ההגדרה של \(M_{X}\) הוא מקטע, ובמקרה האחרון גם הוכחנו ש-\(M_{X}\) מוגדרת ב-\(0\) שכן לא השתמשנו שם בעובדה ש-\(t\in\left[a,b\right]\).
הגדרה 3.5. יהי \(X:\Omega\rightarrow\MKreal\) משתנה מקרי, נאמר של-\(X\) יש מומנט מעריכי, אם \(M_{X}\) מוגדרת בסביבה מלאה של \(0\).
יהיו \(X,Y:\Omega\rightarrow\MKreal\) שני משתנים מקריים.
טענה 3.6. נסמן ב-\(I\) את חיתוך תחומי ההגדרה של \(M_{X}\) ושל \(M_{Y}\). אם \(X\) ו-\(Y\) בלתי תלויים אז \(M_{X+Y}\) מוגדרת על \(I\), ולכל \(t\in I\) מתקיים \(M_{X+Y}\left(t\right)=M_{X}\left(t\right)\cdot M_{Y}\left(t\right)\).
הוכחה. יהי \(t\in I\), מהיות \(X\) ו-\(Y\) בלתי-תלויים נובע שגם \(e^{t\cdot X}\) ו-\(e^{t\cdot Y}\) בלתי-תלויים7ראינו בחלק הקודם שהפעלת פונקציות על משתנים מקריים בלתי-תלויים משמרת את האי-תלות., ולכן מתקיים \(\MKbbe\left(e^{t\cdot X}\cdot e^{t\cdot Y}\right)=\MKbbe\left(e^{t\cdot X}\right)\cdot\MKbbe\left(e^{t\cdot Y}\right)\), וממילא:\[\begin{align*}
M_{X+Y}\left(t\right) & =\MKbbe\left(e^{t\cdot\left(X+Y\right)}\right)=\MKbbe\left(e^{t\cdot X}\cdot e^{t\cdot Y}\right)\\
& =\MKbbe\left(e^{t\cdot X}\right)\cdot\MKbbe\left(e^{t\cdot Y}\right)=M_{X}\left(t\right)\cdot M_{Y}\left(t\right)
\end{align*}\]
משפט 3.7. אי-שוויון צ'רנוף8על שםHerman Chernoff, צ'רנוף עצמו מייחס המשפט להרמן רובין (ויקיפדיה האנגלית).\(\:\)
אם ל-\(X\) יש מומנט מעריכי אז לכל \(0<t\in\MKreal\) בתחום ההגדרה של \(M_{X}\), ולכל \(a\in\MKreal\) מתקיים \(\MKbbp\left(X\geq a\right)\leq M_{X}\left(t\right)\cdot e^{-ta}\).
אם ל-\(X\) יש מומנט מעריכי אז לכל \(0<t\in\MKreal\) בתחום ההגדרה של \(M_{X}\), ולכל \(a\in\MKreal\) מתקיים \(\MKbbp\left(X\geq a\right)\leq M_{X}\left(t\right)\cdot e^{-ta}\).
הוכחה. יהיו \(0<t\in\MKreal\) ו-\(a\in\MKreal\). מהיות \(t\) חיובי נובע שלכל \(x\in\MKreal\) מתקיים \(x\geq a\Longleftrightarrow e^{t\cdot x}\geq e^{t\cdot a}\), מכאן שע"פ Markov_inequality מתקיים:\[
\MKbbp\left(X\geq a\right)=\MKbbp\left(e^{t\cdot X}\geq e^{t\cdot a}\right)\leq\frac{\MKbbe\left(e^{t\cdot X}\right)}{e^{t\cdot a}}=M_{X}\left(t\right)\cdot e^{-ta}
\]
למה 3.8. אם \(\left|X\right|\MKlessalmsur1\) ו-\(\MKbbe\left(X\right)=0\), אז \({\displaystyle M_{X}\left(t\right)\leq\exp\left(\frac{t^{2}}{2}\right)}\) (לכל \(t\) בתחום ההגדרה של \(M_{X}\)).
הוכחה. יהי \(t\) בתחום ההגדרה של \(M_{X}\). נשים לב לכך שהפונקציה \(x\mapsto e^{t\cdot x}\) היא פונקציה קמורה (הנגזרת השנייה חיובית), ולכן לכל \(x\in\left[-1,1\right]\) מתקיים:\[
e^{t\cdot x}\leq\frac{e^{t}+e^{-t}}{2}+x\cdot\frac{e^{t}-e^{-t}}{2}
\]וממילא ע"פ מונוטוניות התוחלת (משפט 1.4) מתקיים:\[\begin{align*}
M_{X}\left(t\right) & =\MKbbe\left(e^{t\cdot X}\right)\leq\frac{e^{t}+e^{-t}}{2}+\MKbbe\left(X\right)\cdot\frac{e^{t}-e^{-t}}{2}=\frac{e^{t}+e^{-t}}{2}\\
& =\frac{1}{2}\cdot\sum_{n=0}^{\infty}\frac{t^{n}+\left(-t\right)^{n}}{n!}=\frac{1}{2}\cdot\sum_{n=0}^{\infty}\frac{t^{2n}}{\left(2n\right)!}\\
& \leq\frac{1}{2}\cdot\sum_{n=0}^{\infty}\frac{1}{2}\cdot\frac{t^{2n}}{n!}=\sum_{n=0}^{\infty}\frac{\left(\frac{t^{2}}{2}\right)^{n}}{n!}=\exp\left(\frac{t^{2}}{2}\right)
\end{align*}\]
מסקנה 3.9. הלמה של הופדינג9על שם Wassily Hoeffding.\(\:\)
אם קיימים \(a,b\in\MKreal\) כך ש-\(a\MKlessalmsur X\MKlessalmsur b\), אז (לכל \(t\) בתחום ההגדרה של \(M_{X}\)):\[ M_{X}\left(t\right)\leq\exp\left(t\cdot\MKbbe\left(X\right)+\frac{t^{2}\cdot\left(b-a\right)^{2}}{8}\right) \]ובאופן שקול:\[ M_{X-\MKbbe\left(X\right)}\left(t\right)\leq\exp\left(\frac{t^{2}\cdot\left(b-a\right)^{2}}{8}\right) \]
אם קיימים \(a,b\in\MKreal\) כך ש-\(a\MKlessalmsur X\MKlessalmsur b\), אז (לכל \(t\) בתחום ההגדרה של \(M_{X}\)):\[ M_{X}\left(t\right)\leq\exp\left(t\cdot\MKbbe\left(X\right)+\frac{t^{2}\cdot\left(b-a\right)^{2}}{8}\right) \]ובאופן שקול:\[ M_{X-\MKbbe\left(X\right)}\left(t\right)\leq\exp\left(\frac{t^{2}\cdot\left(b-a\right)^{2}}{8}\right) \]
הוכחה. יהיו \(a,b\in\MKreal\) כך ש-\(a\MKlessalmsur X\MKlessalmsur b\) (נניח שיש כאלה), יהי \(t\) בתחום ההגדרה של \(M_{X}\), ונסמן \(Z:=\frac{X-\MKbbe\left(X\right)}{b-a}\). אם כן \(\left|Z\right|\MKlessalmsur1\), ומלינאריות התוחלת נובע ש-\(\MKbbe\left(Z\right)=0\). כעת נקבל מהלמה האחרונה (3.8) שמתקיים:\[\begin{align*}
M_{X}\left(t\right) & =\MKbbe\left(e^{t\cdot X}\right)\\
& =\MKbbe\left(\exp\left(t\cdot\left(\frac{b-a}{2}\cdot Z+\MKbbe\left(X\right)\right)\right)\right)\\
& =\MKbbe\left(\exp\left(t\cdot\MKbbe\left(X\right)\right)\cdot\exp\left(t\cdot\frac{b-a}{2}\cdot Z\right)\right)\\
& =\exp\left(t\cdot\MKbbe\left(X\right)\right)\cdot M_{Z}\left(t\cdot\frac{b-a}{2}\right)\\
& \leq\exp\left(t\cdot\MKbbe\left(X\right)\right)\cdot\exp\left(\frac{\left(t\cdot\frac{b-a}{2}\right)^{2}}{2}\right)\\
& =\exp\left(t\cdot\MKbbe\left(X\right)\right)\cdot\exp\left(\frac{t^{2}\cdot\left(b-a\right)^{2}}{8}\right)\\
& =\exp\left(t\cdot\MKbbe\left(X\right)+\frac{t^{2}\cdot\left(b-a\right)^{2}}{8}\right)
\end{align*}\]
טענה 3.10. יהיו \(\MKseq X,n:\Omega\rightarrow\MKreal\) משתנים מקריים. אם לכל \(n\geq k\in\MKnatural\) מתקיים \(\left|X_{k}\right|\MKlessalmsur1\) ו-\(\MKbbe\left(X_{k}\right)=0\), אז לכל \(0<a\in\MKreal\) מתקיים:\[
\MKbbp\left(\sum_{k=1}^{n}X_{k}\geq a\right)\leq\exp\left(-\frac{a^{2}}{2}\right)
\]
משפט 3.11. אי-שוויון הופדינג
יהיו \(\MKseq X,n:\Omega\rightarrow\MKreal\) משתנים מקריים בלתי-תלויים, ונסמן \(\tilde{X}:=\sum_{k=1}^{n}X_{k}\). אם לכל \(n\geq k\in\MKnatural\) מתקיים \(a_{k}\MKlessalmsur X_{k}\MKlessalmsur b_{k}\) (עבור \(\MKseq a,n,\MKseq b,n\in\MKreal\)), אז לכל \(0<d\in\MKreal\) מתקיים:\[\begin{align*} \MKbbp\left(\tilde{X}-\MKbbe\left(\tilde{X}\right)\geq d\right) & \leq\exp\left(-\frac{2d^{2}}{\sum_{k=1}^{n}\left(b_{k}-a_{k}\right)^{2}}\right)\\ \MKbbp\left(\left|\tilde{X}-\MKbbe\left(\tilde{X}\right)\right|\geq d\right) & \leq2\exp\left(-\frac{2d^{2}}{\sum_{k=1}^{n}\left(b_{k}-a_{k}\right)^{2}}\right) \end{align*}\]
יהיו \(\MKseq X,n:\Omega\rightarrow\MKreal\) משתנים מקריים בלתי-תלויים, ונסמן \(\tilde{X}:=\sum_{k=1}^{n}X_{k}\). אם לכל \(n\geq k\in\MKnatural\) מתקיים \(a_{k}\MKlessalmsur X_{k}\MKlessalmsur b_{k}\) (עבור \(\MKseq a,n,\MKseq b,n\in\MKreal\)), אז לכל \(0<d\in\MKreal\) מתקיים:\[\begin{align*} \MKbbp\left(\tilde{X}-\MKbbe\left(\tilde{X}\right)\geq d\right) & \leq\exp\left(-\frac{2d^{2}}{\sum_{k=1}^{n}\left(b_{k}-a_{k}\right)^{2}}\right)\\ \MKbbp\left(\left|\tilde{X}-\MKbbe\left(\tilde{X}\right)\right|\geq d\right) & \leq2\exp\left(-\frac{2d^{2}}{\sum_{k=1}^{n}\left(b_{k}-a_{k}\right)^{2}}\right) \end{align*}\]
הוכחה. יהי \(0<d\in\MKreal\), נסמן \(Z_{k}:=X_{k}-\MKbbe\left(X_{k}\right)\) (לכל \(n\geq k\in\MKnatural\)), וכמו כן נסמן \(Z:=\tilde{X}-\MKbbe\left(\tilde{X}\right)\). מלינאריות התוחלת נובע כי:\[
Z=\sum_{k=1}^{n}X_{k}-\MKbbe\left(\sum_{k=1}^{n}X_{k}\right)=\sum_{k=1}^{n}\left(X_{k}-\MKbbe\left(X_{k}\right)\right)=\sum_{k=1}^{n}Z_{k}
\]ע"פ טענה 3.6 מתקיים \(M_{Z}\left(t\right)=\prod_{k=1}^{n}M_{Z_{k}}\left(t\right)\) לכל \(t\) בחיתוך תחומי ההגדרה של \(M_{Z_{1}},M_{Z_{2}},\ldots,M_{Z_{n}}\), ולכן ע"פ Chernoff_inequality מתקיים (לכל \(t\) כנ"ל):\[
\MKbbp\left(Z\geq d\right)\leq M_{Z}\left(t\right)\cdot e^{-t\cdot d}=e^{-t\cdot d}\cdot\prod_{k=1}^{n}M_{Z_{k}}\left(t\right)
\]כעת נקבל מHoeffding_lemma שמתקיים(לכל \(t\) כנ"ל):\[\begin{align*}
\MKbbp\left(Z\geq d\right) & \leq e^{-t\cdot d}\cdot\prod_{k=1}^{n}\exp\left(\frac{t^{2}\cdot\left(b_{k}-a_{k}\right)^{2}}{8}\right)\\
& =\exp\left(-t\cdot d+\sum_{k=1}^{n}\frac{t^{2}\cdot\left(b_{k}-a_{k}\right)^{2}}{8}\right)\\
& =\exp\left(-t\cdot d+\frac{t^{2}}{8}\cdot\sum_{k=1}^{n}\left(b_{k}-a_{k}\right)^{2}\right)
\end{align*}\]נקודת המינימום של הפרבולה במעריך היא:\[
\frac{4d}{\sum_{k=1}^{n}\left(b_{k}-a_{k}\right)^{2}}
\]ולכן קיבלנו שמתקיים:\[
\MKbbp\left(\tilde{X}-\MKbbe\left(\tilde{X}\right)\geq d\right)=\MKbbp\left(Z\geq d\right)\leq\exp\left(-\frac{2d^{2}}{\sum_{k=1}^{n}\left(b_{k}-a_{k}\right)^{2}}\right)
\]